StudentSim: Training LLM-based Student Simulators
StudentSim：训练基于 LLM 的学生模拟器
🧭 LLM 学生模拟与策略 RL
Microsoft Research · University of Illinois Urbana-Champaign
用两阶段训练构建个性化学生模拟器，同时提升行为保真与引导响应，并可作为 tutor RL 奖励
📌 工作参考价值（4 点）
- 构建用户行为模拟器用于推荐/广告/Agent 的离线评估或 RL 时，可采用“全局 pooling 训练 + 按用户 specialization”两阶段路线；尤其适合真实业务中大量稀疏 user-item 行为，既能共享跨用户模式，又能捕获个体偏好。
- 评估模拟器应同时区分“行为保真度”和“策略响应度”：前者衡量像不像真实用户，后者衡量在推荐策略/引导变化下是否合理更新；两者不可偏废，否则会出现只像但不对策略变化反应的“静态画像”模拟器。
- 将高保真用户模拟器作为 reward model 做策略 RL，可用来训练排序/对话式推荐策略；但需要先用 F/R 协议监控模拟器质量，避免 reward hacking。
- 如果只有少量真实用户交互，可借鉴 StudentSimEval 的标准化评测协议，固定训练/评测记录，做可复现的用户模拟器 benchmark。